RL Post-Training Builds Compositional Reasoning Strategies
RL后训练构建组合性推理策略
🧭 RL后训练组合推理策略机制
Gatsby Computational Neuroscience Unit, UCL
RL后训练能将基础模型的原始技能组合为新的高级推理策略，而拒绝微调易陷入停滞。
📌 工作参考价值（4 点）
- 在需要多步推理的业务场景（如 Agent 自动构建搜索策略、多跳问答、动态推荐流程），采用 RL 后训练比拒绝采样微调更可能组合出高级策略，可复现性地提升难以通过采样突破的任务成功率。
- RL 探索的选择性很关键：RFT 常生成无效捷径，而 RL 能集中探索有效且可复用的结构。实践中可借鉴引入过程监督或结构先验来过滤无效探索，提升训练效率。
- 预训练阶段的技能组织方式直接影响后训练的组合能力：在电商/推荐模型中，若预训练只堆砌原始特征交互，RL 难以将其组合为可靠推理；应在预训练时通过课程或任务设计让模型先掌握可被压缩的原子过程。
- 组合策略出现具有阶段性（先强化原语，再发现组合），提示我们可以在 RL 早期加入辅助奖励或先验来加速这一过程，例如在 Agent 训练中先强化基础工具调用，再组合成复杂工作流。